Pedersen sinh tại Busan, trên bờ biển đông nam của Hàn Quốc, thời đó dưới quyền cai trị của Nhật Bản. Cha ông là người Na Uy còn mẹ ông là người Nhật. Ông theo gia đình về Nhật Bản khi còn nhỏ, và học trong một trường quốc tế là trường Saint Joseph College tại Yokohama.

Năm 1922, ông sang Hoa Kỳ học ngành kỹ thuật hóa học ở Đại học Dayton tiểu bang Ohio. Sau khi đậu bằng cử nhân, ông sang học tiếp ở Học viện Công nghệ Massachusetts và đậu bằng thạc sĩ ngành hóa hữu cơ. Mặc dù các giáo sư khuyến khích ông nên học tiếp để lấy bằng tiến sĩ ở đây, nhưng Pedersen đã quyết định bắt đầu sự nghiệp của mình, một phần vì ông không muốn xin người cha hỗ trợ tài chính. Ông là một trong số ít người đoạt được giải Nobel trong khoa học mà không có bằng tiến sĩ.